生成AIパスポート 用語解説
Attention Mechanismとは
文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組み。Transformerモデルの中核的な処理の一つ。
Attention Mechanismの意味と見分け方
Attention Mechanismは、生成AIパスポートの「第2章 生成AI（ジェネレーティブAI）」に出てくる用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。
公式シラバス（PDF）（公式）試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
「第2章 生成AI（ジェネレーティブAI）」の問題で、取り違えやすい組み合わせです。
- ハルシネーション・アライメント・ファインチューニングの取り違え。事実と異なるもっともらしい出力＝ハルシネーション、人間の意図に沿わせること＝アライメント、追加学習で調整＝ファインチューニング。
- GANとVAEの混同。GANは生成器と識別器を競わせる方式、VAEはエンコーダ・デコーダと潜在ベクトルを使う方式。
- Transformerの中核を畳み込みや位置エンコーディングと取り違える。中核は自己注意（Self-Attention）。
関連する確認問題
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
各語が他のどの語を参照するか重み付けする仕組みと、語順を示す仕組みに関する次の説明のうち、誤っているものはどれか。
この事例では「注意機構と位置エンコーディングの役割を分けるか」がポイントになる。正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」（誤り）である。位置エンコーディングは、Transformerモデルで入力された単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
語を並列処理するTransformerが文頭と文末を識別するために必要な要素を確かめたい。関連する用語について、誤っている説明はどれか。
この事例では「トークンの並び位置を符号化するか」を確認すると、「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」という説明が誤りだと分かる。正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」（誤り）である。位置エンコーディングは、Transformerモデルで入力された単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
自己注意力で、ある語が必要とする情報を他の語から集める。Query・Key・Valueの役割を正しく表す組み合わせはどれか。
正解は「Query＝照合したい要求、Key＝各要素を照合する手掛かり、Value＝重みに応じて集約する内容」です。Scaled Dot-Product Attentionでは、ある位置のQueryと各位置のKeyの類似度から注意の重みを作り、その重みで各位置のValueを集約する。したがって、QueryとKeyはどこをどれだけ参照するかを決め、Valueは参照結果として運ばれる内容に当たる。出力順序は位置情報、学習率と損失関数は学習の設定、正解ラベルと訓練データは教師や入力のデータであり、Query・Key・Valueの三役ではない。
同じ章で確認したい用語
到達チェック
- Attention Mechanismを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、Attention Mechanismに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
用語を体系的に学べる書籍（Amazon）
PR
執筆: AI資格ドリル編集部（運営者情報を見る）